Spark访问Hive表
知识点1:Spark访问HIVE上面的数据
配置注意点:.
1.拷贝mysql-connector-java-5.1.38-bin.jar等相关的jar包到你${spark_home}/lib中(spark2.0之后是${spark_home}/jars下),不清楚就全部拷贝过去
2.将Hive的配置文件hive-site.xml拷贝到${spark_home}/conf目录下
3.因为使用ThriftJDBC/ODBC Server访问spark SQL,所以要修改hive-site.xml文件
<property>
<name>hive.metastore.uris</name>
<value>thrift://hadoop1:9083</value>
<description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>
4.启动hivede metastroe后台进程。执行${hive_home}/bin/hive --service metastore启动hive的service metastore后台进程。
5.启动spark-shell访问hive上数据。在${spark_home}/bin下执行./spark-shell --master spark://master:7077 (可添加其他参数rg:--jars等参数)
知识点2:Spark访问与HBase关联的Hive表
创建关联HBase的Hive外表:
DROP TABLE IF EXISTS table_name;
CREATE EXTERNAL TABLE table_name (ROWKEY STRING,Name STRING,ADDRESS STRING )
ROW FORMAT DELIMITED
COLLECTION ITEMS TERMINATED BY ','
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES("hbase.columns.mapping"=":key,A:Name,A:ADDRESS")
TBLPROPERTIES("hbase.table.name" = "table_name");
如果创建的是内部表,删除了hive表,hbase上对应的表也会被删除,不建议使用这种方式。
如果创建的是外部表,使用drop只是删除了hive的元数据,hbase表不会受影响。
扩展:使用drop删除hive的外表后,如果重新创建该表并load数据到该表中,将会出现部分数据是上次插入的数据,导致总数据量大于第二次插入的数据量,出现这种情况的原因是因为drop删除表,只是删除了表的元数据,不会删除表中的数据,表中的数据存储在创建语句location指定的hdfs路径下,只要删除该文件即可。
配置注意点:
1.Hive的配置部署与知识点1一样
2.拷贝如下jar包到你${spark_home}/lib中(spark2.0之后是${spark_home}/jars下),缺少这些jarj将会报错,本人是将hbase下所有jar都复制到了${spark_home}/lib中
-
-
- hbase-protocol-1.1.2.jar
- hbase-client-1.1.2.jar
- hbase-common-1.1.2.jar
- hbase-server-1.1.2.jar
- hive-hbase-handler-1.2.1.jar
- metrics-core-2.2.0.jar
-
3.将HBase的配置文件hbase-site.xml拷贝到${spark_home}/conf目录下
4.启动spark-shell访问与hbase关联的hive上数据。在${spark_home}/bin下执行./spark-shell --master spark://master:7077 (可添加其他参数rg:--jars等参数,eg:
./bin/spark-shell --master spark://Master36:7077 --jars /usr/local/spark/lib/hive-hbase-handler-1.2.1.jar,/usr/local/spark/lib/hbase-common-1.1.2.jar,/usr/local/spark/lib/hbase-client-1.1.2.jar,/usr/local/spark/lib/hbase-protocol-1.1.2.jar,/usr/local/spark/lib/hbase-server-1.1.2.jar,/usr/local/spark/lib/metrics-core-2.2.0.jar,/usr/local/spark/lib/guava-12.0.1.jar,/usr/local/spark/lib/htrace-core-3.1.0-incubating.jar
)
代码:
/** *下面是spark1.6.2读取hive的简单代码 */ val sqlContext=new org.apache.spark.sql.hive.HiveContext(sc) import sqlContext.implicites._ val df=sqlContext.sql("select xxx from table_name").collect().foreach(println) /** *下面是spark2.11读取hive的简单代码 *spark2.0版本访问hive配置部分将会简单一点 */ import org.apache.spark.sql.SparkSession val warehouseLocation="hdfs://master:9000/user/hive/warehouse" val spark =SparkSession.builder().appName("spark-hive").config("spark.sql.warehouse.dir",warehouseLocation).enableHiveSupport().getOrCreate() import spark.implicits._ import spark.sql spark.sql("selectxxx from xx").show //将数据框保存到到指定路径中,可通过format来指定要保存的文件格式,repartition(n)设置输出文件的个数 dataFrame.repartition(1).write.format("csv").save("hdfs://master:9000/xxx")
出现的错误总结(解决方法仅供参考):
1.error: Error creating transactional connection factory
解决方法:在hive和spark集群都能正常使用情况下,检查一下hive的service metastore后台进程是否已经启动了
2.Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
解决方法:有可能是hive连接数据库部分出现了问题,在hive-site.xml文件中添加<property><name>hive.metastore.uris</name><value>thrift://hadoop1:9083</value></property>,如果配置后执行出现了新的错误:ERROR ObjectStore: Version information not found in metastore,这个新错误可能使用hive的jar包和存储元数据信息版本不一致而抛出的异常,可以在hive-site.xml文件中添加参数跳过版本的问题,<name>hive.metastore.schema.verification</name><value>false</value>,重启hive服务,如果还是继续报ERROR ObjectStore: Version information not found in metastore这个错误,说明刚刚配置的参数没有生效,接着要把hdfs-site.xml文件拷贝到${spark_home}/conf文件下,这可能是因为环境变量的问题引起的
3.java.io.IOException: java.lang.reflect.InvocationTargetException
解决方法:由于缺少htrace-core-3.1.0-incubating.jar包,引入该包即可。
4.java.lang.ClassNotFoundException Class org.apache.hadoop.hive.hbase.HBaseSerDe not found
解决方法:由于缺少相关的hbase的jar包(hbase-protocol-1.1.2.jar,hbase-client-1.1.2.jar,hbase-common-1.1.2.jar,hbase-server-1.1.2.jar等),可以在启动spark-shell通过--jars来添加。
5.java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/util/Bytes
解决方法:由于缺少guava-12.0.1.jar包,引入该包即可。
posted on 2018-02-01 10:36 xiaoshiyun 阅读(21693) 评论(0) 编辑 收藏 举报